典範轉移：從任務專用模型到大型語言模型

自然語言處理的演進：從碎片化 AI 到基礎模型

定義

• 碎片化 AI：一個以離散、專用神經網路架構為核心的時代，這些架構專為序列標註或分類等個別任務而設計。
• 基礎模型：一種統一、單體式的 Transformer 架構，將所有語言問題視為生成式的文字對文字序列 $x \rightarrow y$。

核心概念

• 架構整合： 以往，NLP 需要量身打造的流程（例如以 Bi-LSTM 進行 NER、以 CNN 進行情感分析）。大型語言模型將這些孤島整合為單一主幹，讓相同的權重能用於每一項任務。
• 統一介面： 大型語言模型以自然語言介面取代專用的「輸出頭」（例如三類別 Softmax）。輸入與輸出永遠是字串，使模型能夠解讀 意圖 而非 格式。
• 知識遷移： 傳統模型對每一項任務都是「白板」。大型語言模型則優先考量 泛化優先，其中特定任務僅是既有、穩健的語言內部表徵的應用。

歷史脈絡

• 2018 年之前： 任務彼此孤立，需要以不同的損失函數 $\mathcal{L}_{task}$ 訓練各自獨立的模型。
• 現代： 「文字對文字」典範讓單一模型（例如 Llama-3）能透過零樣本或少樣本提示切換任務。